int64 や datetime64 を linear で interpolate したい

np.NaN は float64 の値、結合したらその Series は float64 になる

code:max.py

i64info = np.iinfo(np.int64)

display(s1)

# 0 9223372036854775807

# 1 -9223372036854775808

# dtype: int64

display(s2)

# 0 NaN

# dtype: float64

display(s)

# 0 9.223372e+18

# 1 -9.223372e+18

# 0 NaN

# dtype: float64

s.interpolate(method='linear').astype(np.int64)

# 0 -9223372036854775808

# 1 -9223372036854775808

# 0 -9223372036854775808

# dtype: int64

BigQuery で Nullable な INT64 のカラムとってきたときもそうなる

NaT は対応されてそのうちリリースされそうだけど Int64 とかがまだなのか

欠損値

pd.NA

None

pandas.options.mode.use_inf_as_na = True

穴埋めで平均を入れる

dff.fillna(dff.mean())

int64 の補間

code:interpolate_int64.py

display(df)

# 0 9223372036854775807

# 1 320

# 2 92

# 3 3

# 4 103

# 5 91

# 下位 1% 未満を線形補間する

# 3 3 が対象になる

df

# 0 9223372036854775807 ← 変換による精度落ちてない

# 1 320

# 2 92

# 3 97

# 4 103

# 5 91

型変換避けないなら1行で書いてもよい(精度は落ちる)

df['num'] = df['num'].mask(df['num'] < df['num'].quantile(0.01)).interpolate(method="linear").astype('int64')

df.mask((df['num'] < df['num'].quantile(0.01)) | (df['num'].quantile(0.99) < df['num']))

Int64 のときは失敗する?

float64 -> int64 のときは小数部が切落されるが float64 -> Int64 は例外になる

明に np.floor や np.round などしてから Int64 にするとよい

code:interpolate.py

# 極端に低いところ NA で埋めて

# 列ごとに interpolate

# 型変換なるべく避けるので mask して NA のところだけ補間した値にする、floor

datetime の補間

ちなみに BigQuery で NULL 込みの TIMESTAMP を SELECT してきた場合は

code:interpolate_datetime.py

0 2023-01-01

1 2023-01-02

2 2023-01-03

3 2023-01-04

>> pd.__version__

'2.0.0rc0'

型変換なるべくしたくない場合は別の df 作ってやるべきかな

code:interpolate_datetime.py

# 準備

display(df)

# 0 2023-01-01 00:00:00

# 1 2023-01-02 00:00:00

# 2 NaT

# 3 2023-01-04 00:00:00

# 別の Series (tmp_date) を用意し で f8 に変換し、 NaT のとこだけ np.nan を入れる

# tmp_date で interpolate したものを、元の df の null の箇所だけに入れる

# mask

BQ の to_dataframe みる